Một đặc trưng nữa của khu phố cổ là kiến trúc nhà cổ trong khu phố buôn bán. Những nhà cổ chủ yếu là nhà ống, mái ngói nghiêng, mặt tiền là cửa hàng buôn bán thò thụt không đều. Hình ảnh nhà cổ và mái ngói đã đi vào hội họa, thơ ca. Những ngôi nhà này chủ yếu được dựng vào thế kỉ XVIII - XIX, trước đó hầu hết là nhà mái tranh, chỉ có một số nhà giàu có, nhà của Hoa kiều mới lợp mái ngói.

Thời kì toàn quốc kháng chiến, để tránh đụng độ trực tiếp với quân Pháp và lính Lê dương, người dân và Vệ quốc quân đã đục thông tường từ nhà này sang nhà khác. Khi cần người ta có thể đi từ đầu đến cuối phố qua những lỗ hổng giữa các ngôi nhà mà không cần phải xuống đường.

Từ cuối thế kỉ XX, các nhà cổ dần dần biến mất. Thay vào đó là các ngôi nhà ống xây mới phá vỡ cảnh quan vốn có của phố cổ. Tuy vậy, bên trong các ngôi nhà vẫn là hệ thống đường đi chằng chịt.